Veri Akışı Tasarlama

Veri Akışı Nasıl Oluşturulur?

Akış oluşturmak için kaynak ve hedef seçimlerinden oluşan 2 adım mevcuttur. Farklı seçimlerde izlenmesi gereken farklı seçimler mevcuttur. Detaylar aşağıdaki gibidir:

1. Kaynak Seçimi

Öncelikle araç kutusundan ihtiyaca uygun olan kaynak seçilerek gride sürüklenir. Veritabanı ve dosya sistemi seçimlerinde açılan ekran içerikleri değşiklik göstermektedir. Detaylar aşağıdaki şekildedir:

- Veritabanı objesi

• Veritabanı objesi gride sürüklenir.
• Veritabanı öğesi üzerine tıklandığında sağda bağlantı ayarları menüsü çıkmaktadır.
• Bu menüdeki bağlantı altındaki kutuya tıklandığında aşağıdaki ekran gelmektedir. Buradan kullanılacak veritabanı seçimi yapılır.

- FTP/Paylaşılan Klasör objesi

• FTP ve Paylaşılan klasör kaynaklarının kullanımı birebir aynı şekilde ilerlemektedir. Bu sebeple ikisi aynı başlıkta incelenecektir.
• İhtiyaca göre FTP veya Paylaşılan Klasör öğesi gride sürüklenir.
• Sürüklenen objenin üzerine tıklandığında sağda bağlantı ve dosya seçimlerinin yer aldığı menü açılmaktadır. Aşağıda görseli yer almaktadır:

• Görseldeki sarı kutu içerisine alınmış olan seçeneklerden ilki bağlantı kısmıdır. Bağlantı seçimi öncesinde admin panelindeki bağlantılar kısmında dosyanın okunacağı FTP/ Paylaşılan Klasör’ün adresi tanımlanmalıdır. Bu aşamadan sonra sağda açılan menüde bağlantı başlığı altındaki seçim listesi tıklandığında ekrana yetkili olunan FTP bağlantılarını listesi gelmektedir. Buradan uygun bağlantı seçilir.

• Bağlantıdan sonraki diğer adım dosya seçimidir. Dosya başlığı altındaki menüye tıklandığında yüklenmek istenen dosyanın detaylarının belirlendiği ekran açılmaktadır. Aşağıda görseli yer almaktadır.

• Açılan ekranki sarı kutu içerisindeki metin kısmına aktarımı yapılacak dosya ismi yazılarak yanındaki test butonuna tıklanır. Eğer ilgili dosya mevcutsa seçilen dosya kısmındaki gri dosya ikonu yeşile dönmektedir. Dosya mevcut değilse sistem hata döndürmektedir.

• Seçilen dosyanın uzantısına(.xlsx,.csv) göre sağdaki ayarlar kısmındaki özellikler değişmektedir. Eğer dosya excel ise yukarıdaki iki özellik gözükmektedir. Bunların detayları şu şekildedir.

  • İlk satır başlıkları içerir: Yüklenen dosyadaki ilk satırda başlık bilgisi olduğunu belirtmek için kullanılır. Eğer “Yes” seçilirse veri aktarılırken dosyanın ilk satırı kolon ismi olarak kullanılır.
  • Sütunları eşle: Sütunları eşle özelliği ilk aktarımdan sonra veri tekrar aktarılacaksa kolonların sırasına göre mi yoksa kolon isimlerine göre mi verilerin eşleştirileceğini belirlemektedir. Eğer sütun sırası seçilirse yüklenecek dosyanın ilk dosya ile aynı kolon sırasında olduğu kabul edilir. Eğer sütun adı seçilirse kolonların sırası değişse bile kolon ismi aynı olduğu sürece sorunsuz aktarım işlemi yapılabilir.

• Eğer seçilen dosya csv ise aşağıdaki ekran açılmaktadır:

  - Csv seçiminde yukarıdaki ekran açılmaktadır. Excel'de olmayan özelliklerin detayları

  aşağıdaki gibidir:

      - **Ayraç:** İlgili CSV dosyasının ayracının ne olduğunu belirlemek için kullanılır. “,” ve  “;” opsiyonları mevcuttur.
    - **Metin niteleyicisi:** Dosya içerisinde geçen ‘ “ ’ sembolünü boşlukla değiştirerek dosyayı yüklemektedir.
    - **Tarih formatı:** Dosyadaki tarih tipinde yer alan verilerin hangi formatta yüklenmesi gerektiğini belirlemektedir.

2. Hedef Seçimi

• Kaynak seçimine dair işlemler tamamlandıktan aktarılacak hedefi belirlemek için gride araç kutusundan veri seti öğesi sürüklenir.

• Eğer kaynak FTP/Paylaşılan klasör ise veri seti objesinin üzerinde sadece önizleme ikonu ve silme menüsü yer alır. Veri yüklendikten sonra önizlemesi yapılabilir.

• Eğer kaynak veritabanı ise veriseti üzerinde önizleme ve silme menüsüne ek olarak kalem ikonu çıkmaktadır. Kalem ikonuna tıklandığında sorgunun yazılacağı aşağıdaki ekran açılır.

• Yukarıdaki sarı kutu içerisine alınmış ikonlardan ilkine tıklandığında, yazılan sorgunun önizlemesi yapılır. Ardından kaydedilir. Ekranın sağındaki kısımdan herhangi bir veri girişi veya seçimi yapılmaz.

• Kaynak objenin sağ alt köşesine tıklandığında, veritabanı ile veriseti öğesi ile bağlantıyı sağlamak için ok çıkmaktadır. Bu ok veriseti öğesi üzerine sürüklenip bırakıldığında aradaki bağlantı sağlanmış olur. Görseli aşağıda yer almaktadır.

  

• Akışı tamamlamak için veriseti öğesinin zorunlu bilgileri girilmesi gereklidir. Bunun için veriseti öğesinin üzerine tıklandığında akış içerisinde oluşturulan işin özellikleri listelenmektedir. Bu özelliklerin bir kısmının kaydedilmesi zorunludur. Buradaki özelliklerin detayları şu şekildedir:

Genel Sekmesi Detayları:

• Ad: Akışın ismini ifade eder. Aynı isimde birden fazla akış olamaz. Zorunlu alandır.
• Açıklama: Akış ile ilgili detay bilgi ihtiyacı olduğunda kullanım içindir.
• Kaynak Bağlantı: Seçilen bağlantı tipi otomatik olarak gelmektedir. Seçim yapılmaz.
• Hedef Veri Seti: Verinin Clickhouse tarafında yazılacağı tablonun adını ifade etmektedir. Aynı isimde birden fazla tablo oluşturulamaz. Zorunlu alandır.

Veri Yenileme Sekmesi Detayları:

• Veri Yenileme Modu: Akış her çalıştığında veri güncelleme işleminin nasıl olacağı bilgisini ifade etmektedir.

• "Ekle" ve "üzerine yaz" olmak üzere 2 farklı opsiyonu mevcuttur.
• "Ekle" seçildiğinde, veriler "benzersiz ayrıştırıcı" alanındaki değişime göre artmaktadır.
• "Üzerine yaz" seçildiğinde ise akış çalıştığında tüm veriler silinip tekrar yüklenmektedir.
• Zorunlu alandır.
• Oluşturulan bir akışta bu alan güncellenirse tablo silinip tekrar oluşturulur.

• Benzersiz Ayrıştırıcı: Güncelleme modu "Ekle" seçildiğinde, veritabanına tablodaki tekil alana göre ekleme yapılmaktadır.

• Eğer update mode overwrite seçilirse seçilen kolonun. önemi yoktur.
• Zorunlu alandır.
• Oluşturulan bir akışta bu alan güncellenirse tablo silinip tekrar oluşturulur.

Optimization Sekmesi Detayları:

• Indeks Alanlar: Clickhouse veritabanına yüklenen verinin hangi kolona göre indeksleneceğini belirtmektedir. Zorunlu alan değildir. Oluşturulan bir akışta bu alan güncellenirse tablo silinip tekrar oluşturulur.
• Ayırma Alanları: Clickhouse veritabanına yüklenen verinin hangi kolona göre bölümleneceğini belirtmektedir. Zorunlu alan değildir. Oluşturulan bir akışta bu alan güncellenirse tablo silinip tekrar oluşturulur.

Zamanlayıcı Sekmesi Detayları:

• Akış belli periyotlarda otomatik olarak çalışması gerekiyorsa zamanlama adımı kullanılabilir.
• Takvim Ekle butonuna basıldığında aşağıdaki pop-up açılmaktadır. Genel tabında isim ve ne zamandan ne zamana kadar aktif olacağının bilgilerinin girilmesi zorunludur.

• “Ne Zaman” tabında ise ihtiyaca göre akışın nasıl bir periyotla çalışacağı belirlenmektedir. Günlük, aylık ve gün-içi çalışma opsiyonları mevcuttur. Burasının çalışma detayları için takvime bağlı mail gönderimi bölümüne bakılabilir.

• Seçimler yapıldıktan sonra tamam butonuna basılır. Çalışması için ilgili akış kayıt edilmesi gereklidir.

Çalışma Geçmişi Alanı Detayları :

• Manuel veya schedule kurarak çalışmış olan bir akışın ne zaman çalıştığına, çalışma statüsüne ve tamamlanan kayıt sayısına ilişkin özet bilgileri göstermektedir. Çalışma geçmişindeki yenileme butonuna basılarak çalışma durumu takip edilebilir. Aşağıda örnek görsel yer almaktadır.

• Tüm gerekli alanlar girildikten sonra akış kaydedilir. Eğer zamanlama tanımlanmadıysa veriseti üzerindeki butona tıklanarak manuel çalışması sağlanabilir. Eğer zamanlama tanımlanıp kaydedildiyse tanımlanan zaman diliminde akış otomatik olarak çalışıyor olacaktır. Yukarıda da belirtildiği gibi süreç çalışma geçmişi sekmesinden takip edilir.